Kiến trúc ẩn giấu của ngôn ngữ

Các Mô hình Ngôn ngữ lớn (LLMs) không "đọc" văn bản theo cách con người làm. Trong khi chúng ta nhìn thấy các chữ cái và từ, mô hình xử lý thông tin dưới dạng các khối số học được gọi là Tokens. Việc hiểu được khái niệm trừu tượng này là bước đầu tiên để thành thạo kỹ thuật lập trình lời nhắc (prompt engineering) và thiết kế hệ thống.

Thử thách Kẹo Bông

Tại sao một mô hình LLM lại gặp khó khăn khi đảo ngược các chữ cái trong từ "lollipop" nhưng lại thành công ngay lập tức khi được yêu cầu đảo ngược "l-o-l-l-i-p-o-p"?

• Vấn đề:Trong từ thông thường, mô hình chỉ nhìn thấy một token duy nhất đại diện cho toàn bộ từ. Nó không có một bản đồ rõ ràng về từng chữ cái bên trong token đó.
• Giải pháp:Bằng cách chia nhỏ từ bằng dấu gạch nối, bạn buộc mô hình phải tách riêng từng chữ cái thành các token riêng biệt, từ đó cung cấp tầm nhìn chi tiết cần thiết để thực hiện nhiệm vụ.

Nguyên tắc cốt lõi

• Tỷ lệ Token:Theo quy tắc thông thường, 1 token tương đương khoảng 4 ký tự trong tiếng Anh, hay khoảng 0,75 từ.
• Kích thước cửa sổ ngữ cảnh:Các mô hình có kích thước bộ nhớ cố định (ví dụ: 4096 token). Giới hạn này bao gồm cả hướng dẫn của bạn và phản hồi từ mô hình.